数据平台中心(企业罗盘 Cdata)
有三个主要的产品:
- 企业罗盘,定位是专注 tob 的一站式数据工作平台。 有三大核心功能(报表、仪表盘、图表)用于日常的数据分析,分享和汇报。
- 仪表盘 PC/Mobile 可视化数据, 个性的仪表盘配置和推送
- 工作表:在线处理数据。
- 报表
- 维表: 简单理解为是一个 key value 配置库工具。在线的数据操作表。 可以给产品、运营加权限之后直接修改,不用登录数据库修改。服务能够直接拉取,拥有权限控制。
- 推送(仪表盘、报表)
- 移动端数据应用工厂,一种对收入数据多场景、多维度的可视化数据汇报看板的解决方案。(这是我主要负责的项目)
- 驾驶舱、产品分析、客户分析
- 行业经分系统
- 销售看板
- ...
- PC 数据应用
- 数据资产平台。主要是服务于数仓同学。
- 小程序
- 仪表盘
- ...
数仓的痛点
- 开发人员水平有差距,对于建表规范、字段属性的命名等,会造成最终建表的质量存在差异。建表不规范、建表流程优化。
- 建表过程重复,全部都需要通过写 py, sql 脚本来建表,对一些字段的枚举、注释、格式等,通过文档沉淀来管理的形式,繁琐且不能保证不出错。修改、同步表结构等操作,也需要通过 py, sql 来,权限大的人没时间,权限小的人不专业、做不了,风险太大。
- 字段、表结构等信息,权限没法把控,落到人身上。
- 系统、业务升级(例如组织架构变化之后,汇报产品、人员变化了),很可能会涉及到一系列表结构的变化、或者老表弃用等。没有表的血缘关系,就会比较痛苦。
- 业务升级,一些库表的字段、结构同步问题。 可视化显示字段与字段,和各个表之前的血缘关系。怎么拿到血缘关系的?
- 字段、表(包括 tdw 表与结果库表) 的权限管理,只能负责人建。
- 新建表、复制表等 都需要通过 sql 脚本,数据资产平台能够直接筛选字段,拖拽顺序,快速创建。并且如果有特殊的需求,也会显示表所存在的分层,ods 层, dw 层还是 dm 层, 亦或者直接将生成的 DDL 语句展示出来,提供复制。
- tdw 是账号级别的管理。
- 字段的维度字典沉淀,统一设定。
- 数仓现在不管权限问题,所有的开发者都有数据的全部权限,管权限的只有产品经理,在另一个平台建立了一份角色和权限点的关系,在数据门户侧,实际用户访问到的才是经过权限筛选的数据,这意味着会工程的所有开发,都可以无视权限配置,容易造成数据泄露。那如果权限管控直接沉淀在数据资产平台,权限管控下沉,自己管理数据的隐私问题。
解决方式:数据资产平台
功能:
- 规范建表,同步字段。提供更灵活的建表体验。统一建表, tdw 表和罗盘库表(结果库?)
- 沉淀字段(维度、指标)到平台。对维度字典做了更好的统一管控。统一管理和录入字段和维度信息,在建表的时候能够直接拖拽处理。
- 对数据源、表、字段都做到更细的权限管控。
- 记录表结构修改记录,标记多表之间的一些血缘关系,以及表与洛子任务的关系。维护一份,关联分析,表之间的联系,血缘关系等。
未来:
- 数据行权限,感觉可以直接在数据资产平台就做一个绑定。脱离磐石。 数据权限,管控需要更细,像 node 和 tdw 这一层,对真实的数据比较难隐藏,收入数据等是可以直接看到的。